• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種顯示控制裝置及顯示控制方法。顯示控制裝置包括辨識單元及映射單元。辨識單元辨識操作者之頭部位置及控制點位置。映射單元根據頭部位置、控制點位置及顯示器邊界動態地調整操作邊界，並根據控制點位置、操作邊界及顯示器邊界計算位於顯示器上之螢幕游標位置，且螢幕游標位置維持在頭部位置及控制點位置之延伸直線上。
    公开号:TW201316205A
    申请号:TW100136827
    申请日:2011-10-11
    公开日:2013-04-16
    发明作者:Wen-Hung Ting；Chia-Chang Li；Chieh-Fu Tsai；Chien-Chun Kuo；Po-Lung Chen
    申请人:Ind Tech Res Inst；
    IPC主号:G06F3-00
    专利说明:
    顯示控制裝置及顯示控制方法
    本發明是有關於一種顯示控制裝置及顯示控制方法。
    在電腦上所使用的滑鼠/鍵盤，或行動裝置廣為使用的觸控面板，以至於家電使用的控制面板/遙控器等，電子產品的操控上始終強調使用的方便性與功能性。近年來，由於影像偵測式人機介面技術的提升，非接觸式的手勢操控介面隨之興起，但不論技術如何演變，以人為中心的產品設計理念依然不變。換言之，手勢操控介面是否具直覺便利的特性將左右消費者接受該產品的重要因素。
    而目前在手勢操控上主要分為兩種操控方法。第一種是手部軌跡圖形辨識法，由手部移動軌跡形成具特定意義的圖形來構成命令，如揮動、順逆轉等。第二種是手部位置資訊構成類游標的方式下達命令。第二種類型在操控上較為直覺，能下達的命令不論在種類上或彈性上都優於第一種。因此如何方便直觀的產生對應於顯示器上的螢幕游標，將成為一個關鍵點。
    一種傳統做法係整張影像的座標映射整個顯示器的方式來呈現螢幕游標，但此方式易產生對應於顯示器的圖標範圍過小的問題。另一種傳統做法係使用影像中設定參考原點的方式重新映射至顯示器座標。但此種傳統做法將使操作者無法掌握操作範圍。
    本發明係有關於一種顯示控制裝置及顯示控制方法。
    根據本發明，提出一種顯示控制裝置。顯示控制裝置包括辨識單元及映射單元。辨識單元辨識操作者之頭部位置及控制點位置。映射單元根據頭部位置、控制點位置及顯示器邊界動態地調整操作邊界，並根據控制點位置、操作邊界及顯示器邊界計算位於顯示器上之螢幕游標位置，且螢幕游標位置維持在頭部位置及控制點位置之延伸直線上。
    根據本發明，提出一種顯示控制方法。顯示控制方法包括：辨識操作者之頭部位置及控制點位置；根據頭部位置、控制點位置及顯示器邊界動態地調整操作邊界；以及根據控制點位置、操作邊界及顯示器邊界計算位於顯示器上之螢幕游標位置，且螢幕游標位置維持在頭部位置及控制點位置之延伸直線上。
    為了對本發明之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：
    請同時參照第1圖、第2圖及第3圖，第1圖繪示係為依照一實施例之一種顯示控制裝置之方塊圖，第2圖繪示係為依照一實施例之一種顯示控制方法之流程圖，第3圖繪示係為操作者控制螢幕游標之示意圖。顯示控制裝置1包括辨識單元11及映射單元12，辨識單元11及映射單元12例如係由處理器所實現。顯示控制方法包括步驟21至23。如步驟21所示，辨識單元11辨識操作者33之頭部位置33A及控制點位置33B。控制點位置33B例如為操作者33的手掌位置。如步驟22所示，映射單元22根據頭部位置33A、控制點位置33B及顯示器邊界BD動態地調整操作邊界BH。如步驟23所示，映射單元22根據控制點位置33B、操作邊界BH及顯示器邊界BD計算位於顯示器32上之螢幕游標位置321，且螢幕游標位置321維持在頭部位置33A及控制點位置33B之延伸直線上。影像擷取裝置31例如為雙攝影機，且影像擷取裝置31例如係設置於顯示器32之上方。
    請同時參照第4圖、第5圖、第6圖及第7圖，第4圖繪示係為操作者距離顯示器較遠之示意圖，第5圖繪示係為第4圖之上視圖，第6圖繪示係為操作者距離顯示器較近之示意圖，第7圖繪示係為第6圖之上視圖。操作邊界BH係隨操作者33距離顯示器32的遠近而動態地調整。舉例來說，當操作者如第4圖及第5圖繪示距離顯示器32較遠時，操作邊界BH之大小係如第4圖繪示。相反地，當操作者33如第6圖及第7圖繪示距離顯示器32較近時，操作邊界BH之大小則如第6圖繪示。由第4圖至第7圖繪示可知，當操作者33越接近顯示器32，則操作邊界BH會逐漸增加，使得操作者33的操作範圍隨之加大。相反地，當操作者33越遠離顯示器32，則操作邊界BH會逐漸減少，使得操作者33的操作範圍隨之縮小。由於操作邊界BH係隨頭部位置33A、控制點位置33B及顯示器邊界BD動態地調整，因此能確保螢幕游標位置321維持在頭部位置33A及控制點位置33B之延伸直線L1上。如此一來，操作者即能直觀地控制螢幕游標，進而提高操控上的便利性。
    請同時參照第1圖、第2圖、第8圖、第9圖及第10圖，第8圖繪示係為前述步驟22之細部流程圖，第9圖繪示係為在初始設定階段決定顯示器邊界之示意圖，第10圖繪示係為在實際操作階段決定操作邊界之示意圖。映射單元12包括階段判斷單元121、初始設定單元122、操作邊界調整單元123及螢幕游標計算單元124，且前述步驟22進一步包括步驟221至223。如步驟221所示，階段判斷單元121判斷顯示控制裝置1是否進入一初始設定階段。當顯示控制裝置1進入初始設定階段時，則執行步驟222。相反地，當顯示控制裝置1未進入初始設定階段，則執行步驟222。
    如步驟222所示，初始設定單元122根據頭部位置33A、控制點位置33B及一相似三角形關係決定顯示器邊界BD，且控制點位置33B需位於頭部位置33A與顯示器之角落的延伸直線L2上。進一步來說，由於操作邊界BH的設定需仰賴顯示器邊界BD，因此在進入實際操作階段前須進入一初始設定階段進行校正動作。在初始設定階段，操作者在固定位置下，向前伸出操作的手掌以設定四個參考點，即顯示器31的四個角落點。當操作者33的視線經過操作點位置後對應到顯示器32的四個角落點，初始設定單元122即能根據頭部位置33A及控制點位置33B決定顯示器邊界BD。
    舉例來說，於第9圖繪示中，操作者33的視線經過操作點位置之座標(XLBHand,ZLBHand)及座標(XRBHand,ZRBHand)後對應到顯示器32的兩個角落點。顯示器32角落點的座標，而座標。其中由於頭部位置與控制點位置已知，因此座標XLBDisp及座標XRBDisp即可求出。相似地，顯示器32角落點的座標YLBDisp及座標YRBDisp亦可透過相同方式求出，在此不另行贅述。
    當顯示控制裝置1未進入初始設定階段，表示顯示控制裝置1進入實際操作階段。當顯示控制裝置1進入實際操作階段時，操作邊界調整單元123根據頭部位置、控制點位置、顯示器邊界BD及一相似三角形關係動態地調整操作邊界BH。進一步來說，在實際操作階段，頭部位置及控制點位置可即時算出，但其操作範圍為未知。故可使用初始設定階段所估算出來的顯示器邊界BD來計算出當下的操作邊界BH。
    舉例來說，於第10圖繪示中，操作邊界BH的座標，而座標。其中由於顯示器邊界BD已知，因此座標XLBHand及座標XRBHand即可求出。相似地，操作邊界BH的座標YLBHand及座標YRBHand亦可透過相同方式求出，在此不另行贅述。
    當操作邊界BH求出後，後續則如步驟23所示，螢幕游標計算單元124根據控制點位置33B、操作邊界BH及顯示器邊界BD計算位於顯示器32上之螢幕游標位置321。前述實施例雖以在實際操作階段之前先計算顯示器邊界BD為例說明，然並不侷限於此。顯示器邊界BD亦可先行預設於辨識單元11中。
    請同時參照第1圖、第3圖、第11圖、第12圖及第13圖，第11圖繪示係為位置識別單元之示意圖，第12圖繪示係為步驟21之細部流程圖，第13圖繪示係為位置識別之示意圖。辨識單元11進一步包括操作者偵測單元111及位置辨識單元112。操作者偵測單元111偵測距離影像擷取裝置31最近之人體做為操作者33，而位置辨識單元112辨識操作者33之頭部位置33A及控制點位置33B。
    位置辨識單元112包括直方圖統計單元1121、前景產生單元1122、頭部位置決定單元1123及控制點位置決定單元1124，且前述步驟21進一步包括步驟211～215。如步驟211所示，直方圖統計單元1121根據深度影像41輸出直方圖統計42。如步驟212所示，前景產生單元1122根據直方圖統計42輸出前景43。進一步來說，前景與後景於直方圖統計42當中會呈現兩個峰值，前景產生單元1122可以直接以峰值之間的深度距離做為分離前景與後景的依據。
    如步驟213所示，頭部位置決定單元1123根據前景43計算一水平投影量44以決定頭部位置33A之水平座標位置XHead。進一步來說，頭部位置決定單元1123對水平投影量44之一階導數47進行越零點偵測以決定水平座標位置XHead。
    如步驟214所示，頭部位置決定單元1123根據水平座標位置XHead及矩形樣板45進行垂直掃描以決定頭部位置33A之垂直座標位置YHead。進一步來說，當矩形樣板45內的像素個數小於預設臨界值Vth時，頭部位置決定單元1123根據矩形樣板45所在位置決定垂直座標位置YHead。
    如步驟215所示，控制點位置決定單元1124根據頭部位置33A及圓形樣板46以決定控制點位置33B。由於手掌輪廓接近圓形，故控制點位置決定單元1124在偵測控制點位置33B時，以圓形樣板46進行比對。當操作者33距離影像擷取裝置31約兩公尺以上時，因為深度解析度的不足，手掌與手臂其他區域可能具有相近或相同的深度值。此時若僅以深度資訊進行控制點位置33B判定(例如最靠近影像擷取裝置31的深度點)，則可能產生誤判，造成控制點位置33B錯誤或跳動。為避免深度相近所造成的誤判，故控制點位置決定單元1124以圓形樣板46比對的方式偵測控制點位置33B以提高正確率。
    綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    1．．．顯示控制裝置
    11．．．辨識單元
    12．．．映射單元
    21～23、211～215、221～223．．．步驟
    31．．．影像擷取裝置
    32．．．顯示器
    33．．．操作者
    33A．．．頭部位置
    33B．．．控制點位置
    41．．．深度影像
    42．．．直方圖統計
    43．．．前景
    44．．．水平投影量
    45．．．矩形樣板
    46．．．圓形樣板
    47．．．一階導數
    111．．．操作者偵測單元
    112．．．位置辨識單元
    121．．．階段判斷單元
    122．．．初始設定單元
    123．．．操作邊界調整單元
    124．．．螢幕游標計算單元
    321．．．螢幕游標位置
    1121．．．直方圖統計單元
    1122．．．前景產生單元
    1123．．．頭部位置決定單元
    1124．．．控制點位置決定單元
    BH．．．操作邊界
    BD．．．顯示器邊界
    L1．．．頭部位置及控制點位置之延伸直線
    XLBDisp、XRBDisp、XLBHand、ZLBHand、XRBHand、ZRBHand、ZHand、ZHead．．．座標
    XHead．．．水平座標位置
    YHead．．．垂直座標位置
    第1圖繪示係為依照一實施例之一種顯示控制裝置之方塊圖。
    第2圖繪示係為依照一實施例之一種顯示控制方法之流程圖。
    第3圖繪示係為操作者控制螢幕游標之示意圖。
    第4圖繪示係為操作者距離顯示器較遠之示意圖。
    第5圖繪示係為第4圖之上視圖。
    第6圖繪示係為操作者距離顯示器較近之示意圖。
    第7圖繪示係為第6圖之上視圖。
    第8圖繪示係為前述步驟22之細部流程圖。
    第9圖繪示係為在初始設定階段決定顯示器邊界之示意圖。
    第10圖繪示係為在實際操作階段決定操作邊界之示意圖。
    第11圖繪示係為位置識別單元之示意圖。
    第12圖繪示係為步驟21之細部流程圖。
    第13圖繪示係為位置識別之示意圖。
    31．．．影像擷取裝置
    32．．．顯示器
    33．．．操作者
    33A．．．頭部位置
    33B．．．控制點位置
    321．．．螢幕游標位置
    BH．．．操作邊界
    BD．．．顯示器邊界
    L1．．．頭部位置及控制點位置之延伸直線
    权利要求:
    Claims (20)
    [1] 一種顯示控制裝置，包括：一辨識單元，用以辨識一操作者之一頭部位置及一控制點位置；以及一映射單元，用以根據該頭部位置、該控制點位置及一顯示器邊界動態地調整一操作邊界，並根據該控制點位置、該操作邊界及該顯示器邊界計算位於一顯示器上之一螢幕游標位置，且該螢幕游標位置維持在該頭部位置及該控制點位置之延伸直線上。
    [2] 如申請專利範圍第1項所述之顯示控制裝置，其中該映射單元更包括：一階段判斷單元，用以判斷該顯示控制裝置是否進入一初始設定階段；一初始設定單元，當該顯示控制裝置進入該初始設定階段時，該初始設定單元根據該頭部位置及該控制點位置決定該顯示器邊界，且該控制點位置需位於該頭部位置與該顯示器之角落的延伸直線上。
    [3] 如申請專利範圍第2項所述之顯示控制裝置，其中當該顯示控制裝置進入該初始設定階段時，該初始設定單元根據該頭部位置、該控制點位置及一相似三角形關係決定該顯示器邊界。
    [4] 如申請專利範圍第1項所述之顯示控制裝置，其中該映射單元更包括：一操作邊界調整單元，當該顯示控制裝置進入一實際操作階段時，該操作邊界調整單元根據該頭部位置、該控制點位置、該顯示器邊界及一相似三角形關係動態地調整該操作邊界；以及一螢幕游標計算單元，用以根據該控制點位置、該操作邊界及該顯示器邊界計算位於該顯示器上之該螢幕游標位置。
    [5] 如申請專利範圍第1項所述之顯示控制裝置，其中該顯示器邊界預設於該辨識單元中。
    [6] 如申請專利範圍第1項所述之顯示控制裝置，其中該辨識單元包括：一操作者偵測單元，用以偵測距離一影像擷取裝置最近之人體做為該操作者；以及一位置辨識單元，用以辨識該操作者之該頭部位置及該控制點位置。
    [7] 如申請專利範圍第6項所述之顯示控制裝置，其中該位置辨識單元係根據一深度影像辨識該頭部位置及該控制點位置。
    [8] 如申請專利範圍第7項所述之顯示控制裝置，其中位置辨識單元更包括：一直方圖統計單元，用以根據該深度影像輸出一直方圖統計；一前景產生單元，用以根據該直方圖統計輸出一前景及；一頭部位置決定單元，用以根據該前景計算一水平投影量以決定該頭部位置之一水平座標位置，並根據該水平座標位置及一矩形樣板進行一垂直掃描以決定該頭部位置之一垂直座標位置；以及一控制點位置決定單元，用以根據該頭部位置及一圓形樣板以決定該控制點位置。
    [9] 如申請專利範圍第8項所述之顯示控制裝置，其中該頭部位置決定單元對該水平投影量之一階導數進行越零點偵測以決定該水平座標位置。
    [10] 如申請專利範圍第8項所述之顯示控制裝置，其中當該矩形樣板內的像素個數小於一預設臨界值時，該頭部位置決定單元根據該矩形樣板所在位置決定該垂直座標位置。
    [11] 一種顯示控制方法，包括：辨識一操作者之一頭部位置及一控制點位置；根據該頭部位置、該控制點位置及一顯示器邊界動態地調整一操作邊界；以及根據該控制點位置、該操作邊界及該顯示器邊界計算位於一顯示器上之一螢幕游標位置，且該螢幕游標位置維持在該頭部位置及該控制點位置之延伸直線上。
    [12] 如申請專利範圍第11項所述之顯示控制方法，更包括：判斷是否進入一初始設定階段；以及當進入該初始設定階段，根據該頭部位置及該控制點位置決定該顯示器邊界，且該控制點位置需位於該頭部位置與該顯示器之角落的延伸直線上。
    [13] 如申請專利範圍第12項所述之顯示控制方法，其中該顯示器邊界決定步驟係根據該頭部位置、該控制點位置及一相似三角形關係決定該顯示器邊界。
    [14] 如申請專利範圍第11項所述之顯示控制方法，其中該顯示器邊界係為預設。
    [15] 如申請專利範圍第11項所述之顯示控制方法，其中該辨識步驟係根據一深度影像辨識該頭部位置及該控制點位置。
    [16] 如申請專利範圍第15項所述之顯示控制方法，其中該辨識步驟包括：根據該深度影像輸出一直方圖統計；根據該直方圖統計輸出一前景；根據該前景計算一水平投影量以決定該頭部位置之一水平座標位置；根據該水平座標位置及一矩形樣板進行一垂直掃描以決定該頭部位置之一垂直座標位置；以及根據該頭部位置及一圓形樣板以決定該控制點位置。
    [17] 如申請專利範圍第16項所述之顯示控制方法，其中該辨識步驟係對該水平投影量之一階導數進行越零點偵測以決定該水平座標位置。
    [18] 如申請專利範圍第16項所述之顯示控制方法，其中該垂直座標位置決定步驟包括：判斷該矩形樣板內的像素個數是否小於一預設臨界值；以及當該矩形樣板內的像素個數小於該預設臨界值時，根據該矩形樣板所在位置決定該垂直座標位置。
    [19] 如申請專利範圍第11項所述之顯示控制方法，更包括：偵測距離一影像擷取裝置最近之人體做為該操作者。
    [20] 如申請專利範圍第11項所述之顯示控制方法，其中該操作邊界調整步驟係根據該頭部位置、該控制點位置、該顯示器邊界及一相似三角形關係動態地調整該操作邊界。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI437467B|2014-05-11|顯示控制裝置及顯示控制方法
    US9400560B2|2016-07-26|Image display device and display control method thereof
    TWI489317B|2015-06-21|電子裝置的操作方法及系統
    JP5921835B2|2016-05-24|入力装置
    US20150109242A1|2015-04-23|Method, device and mobile terminal for three-dimensional operation control of a touch screen
    TWI397840B|2013-06-01|基於軌跡之控制方法及裝置
    TWI403922B|2013-08-01|徒手人機介面操作系統及其方法
    TWI506529B|2015-11-01|滑動觸摸操作的顯示控制系統及方法
    US9430039B2|2016-08-30|Apparatus for controlling virtual mouse based on hand motion and method thereof
    EP2787415A1|2014-10-08|Method and system for triggering and controlling human-computer interaction operating instruction
    US9529446B2|2016-12-27|Re-anchorable virtual panel in three-dimensional space
    TWI533181B|2016-05-11|光學式觸控感測裝置及其觸控信號判斷方法
    US9525906B2|2016-12-20|Display device and method of controlling the display device
    TWI496094B|2015-08-11|手勢辨識模組及手勢辨識方法
    CN104978018B|2018-08-24|触控系统及触控方法
    CN111736697A|2020-10-02|一种基于摄像头的手势操控方法
    TW201312380A|2013-03-16|光學觸控系統
    TWI444875B|2014-07-11|多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
    US10175825B2|2019-01-08|Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
    EP3059664A1|2016-08-24|A method for controlling a device by gestures and a system for controlling a device by gestures
    TWI482068B|2015-04-21|光學觸控裝置與其運作方法
    JP2015005302A|2015-01-08|入力装置、ポインタの表示位置調整方法およびプログラム
    CN203858585U|2014-10-01|可变更角度的体感侦测摄像装置
    JP6579866B2|2019-09-25|情報処理装置とその制御方法、プログラム、記憶媒体
    TWI536259B|2016-06-01|手勢辨識模組及手勢辨識方法
    同族专利:
    公开号 | 公开日
    TWI437467B|2014-05-11|
    US9063567B2|2015-06-23|
    US20130088428A1|2013-04-11|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US7203356B2|2002-04-11|2007-04-10|Canesta, Inc.|Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications|
    US7391888B2|2003-05-30|2008-06-24|Microsoft Corporation|Head pose assessment methods and systems|
    TWI240891B|2003-08-20|2005-10-01|Jyh-Horng Chen|Method of controlling the computer mouse by tracking user's head rotation and eyes movement|
    US7667700B1|2004-03-05|2010-02-23|Hrl Laboratories, Llc|System and method for navigating operating in a virtual environment|
    US7519223B2|2004-06-28|2009-04-14|Microsoft Corporation|Recognizing gestures and using gestures for interacting with software applications|
    TWI289203B|2006-05-12|2007-11-01|Univ Nat Chiao Tung|System and method for detecting finger directing|
    JP4148281B2|2006-06-19|2008-09-10|ソニー株式会社|モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム|
    TWI348127B|2007-02-12|2011-09-01|Univ Nat Chiao Tung||
    WO2008103804A2|2007-02-23|2008-08-28|Lockheed Martin Corporation|Iterative region-based automated control point generation|
    US8166421B2|2008-01-14|2012-04-24|Primesense Ltd.|Three-dimensional user interface|
    US9772689B2|2008-03-04|2017-09-26|Qualcomm Incorporated|Enhanced gesture-based image manipulation|
    US8514251B2|2008-06-23|2013-08-20|Qualcomm Incorporated|Enhanced character input using recognized gestures|
    WO2010099034A1|2009-02-25|2010-09-02|Honda Motor Co., Ltd.|Capturing and recognizing hand postures using inner distance shape contexts|
    JP5614014B2|2009-09-04|2014-10-29|ソニー株式会社|情報処理装置、表示制御方法及び表示制御プログラム|
    US20110107216A1|2009-11-03|2011-05-05|Qualcomm Incorporated|Gesture-based user interface|US11137832B2|2012-12-13|2021-10-05|Eyesight Mobile Technologies, LTD.|Systems and methods to predict a user action within a vehicle|
    US9274608B2|2012-12-13|2016-03-01|Eyesight Mobile Technologies Ltd.|Systems and methods for triggering actions based on touch-free gesture detection|
    US9117120B2|2013-05-24|2015-08-25|Honda Motor Co., Ltd.|Field of vision capture|
    JP2015035151A|2013-08-09|2015-02-19|船井電機株式会社|表示装置|
    US20150104101A1|2013-10-14|2015-04-16|Apple Inc.|Method and ui for z depth image segmentation|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100136827A|TWI437467B|2011-10-11|2011-10-11|顯示控制裝置及顯示控制方法|TW100136827A| TWI437467B|2011-10-11|2011-10-11|顯示控制裝置及顯示控制方法|
    US13/337,675| US9063567B2|2011-10-11|2011-12-27|Display control apparatus and display control method|
    [返回顶部]